Trong thời gian là sinh viên, Page thường xuyên chơi guitar tại Marquee Club với nhóm All Stars của Cyril Davies và nhóm Blues Incorporated của Alexis Korner cùng những tay guitar tự do khác là Jeff Beck và Eric Clapton. Anh được John Gibb của nhóm Brian Howard & the Silhouettes chú ý và đề nghị tới giúp đỡ thu âm với hãng Columbia Graphophone Company, trong đó có đĩa đơn "The Worrying Kind". Mike Leander của hãng Decca Records là người đầu tiên đưa Page tới phòng thu. Buổi thu đầu tiên là bản thu đĩa đơn "Diamonds" trình bày bởi Jet Harris và Tony Meehan: ca khúc sau đó có được vị trí quán quân vào đầu năm 1963[18].

Sau những lần cộng tác với nhóm Carter-Lewis and the Southerners, Mike Hurst rồi nhóm The Method, Mickey Finn và The Blue Men, Page cuối cùng cũng có một buổi thu của riêng mình. Khi tham gia là nhạc công tự do, anh chọn nghệ danh "Lil' Jim Pea" để phân biệt với một nghệ sĩ tự do nổi tiếng khác là Big Jim Sullivan. Page thường được mời tới như một nghệ sĩ "đảm bảo" mỗi khi cần sự thay thế hay mỗi khi nghệ sĩ cần một tay guitar chơi lót phía sau. "Tôi hay đi cùng với một tay trống", anh giải thích, "nhưng họ không nhớ tới tay trống, nên họ chỉ nhắc tới tên tôi... Mọi người đều muốn nhờ tới, hoặc Big Jim [Sullivan] hoặc tôi."[18] Anh nhấn mạnh rằng: "Trong những lần thu đầu tiên, họ thường bảo "Cứ chơi như cậu muốn!", bởi vì lúc đó tôi không biết đọc nhạc hay hiểu bất cứ nhạc lý nào."[22]

Page là nghệ sĩ guitar ưa thích của nhà sản xuất Shel Talmy. Cũng chính vì vậy, anh luôn có mặt trong các buổi thu của The Who và The Kinks[23]. Page được chú ý khi chơi guitar acoustic 12-dây trong 2 ca khúc "I'm a Lover Not a Fighter" và "I've Been Driving on Bald Mountain" nằm trong album đầu tay của The Kinks[24], ngoài ra còn có thể trong ca khúc mặt B "I Gotta Move"[25]. Page cũng là người chơi guitar nền trong đĩa đơn đầu tay "I Can't Explain" của The Who[22] (cho dù Pete Townshend khá miễn cưỡng trong việc đồng ý cho Page tham gia song cuối cùng anh vẫn có mặt trong phần trình bày ca khúc mặt B "Bald Headed Woman")[26]. Trong năm 1964, Page còn tham gia trong "As Tears Go By" của Marianne Faithfull, "Tobacco Road" của The Nashville Teens, "Heart of Stone" của The Rolling Stones, "Baby Please Don't Go" và "Here Comes the Night" của Van Morrison cùng Them, "The Crying Game" và "My Baby Left Me" của Dave Berry, "Is It True" của Brenda Lee, và "Downtown" của Petula Clark.

Năm 1964, Page được quản lý Andrew Loog Oldham của The Rolling Stones thuê để tham gia sản xuất và là thành viên A&R[gc 1] cho hãng Immediate Records, qua đó giúp anh được chơi cùng các nghệ sĩ như John Mayall, Nico, Chris Farlowe, Twice as Much hay Clapton. Page cũng nhanh chóng thiết lập tình bạn với một nhạc sĩ lãng mạn có tên Jackie DeShannon. Anh bắt đầu sáng tác trong album The Maureeny Wishful Album của John Williams cùng Big Jim Sullivan. Sau đó anh tham gia làm nghệ sĩ hợp đồng trong Sunshine Superman (1966) của Donovan, Jeune Homme (1968) và Je Suis Né Dans La Rue (1969) của Johnny Hallyday, Love Chronicles (1969) của Al Stewart và 5 ca khúc trong album đầu tay With a Little Help from My Friends của Joe Cocker. Kể từ năm 1970, tổng cộng Page chơi lead guitar trong 10 ca khúc của Roy Harper, tương đương tới 81 phút độc diễn guitar.

Khi được hỏi về những ca khúc mình tham gia, đặc biệt là những vai trò khác nhau thậm chí đối lập trong số các ca khúc đó, Page thường nhấn mạnh mình không nhớ rõ bao nhiêu ca khúc mình đã từng thu do tham gia quá nhiều buổi thu khác nhau[22][23]. Trong một buổi phỏng vấn trên đài phát thanh, anh giải thích "Tôi thực hiện 3 buổi thu mỗi ngày và 15 buổi thu một tuần. Đôi lúc tôi chơi với một nhóm nhạc, đôi lúc tôi tham gia thu âm nhạc phim, đôi lúc đó là một buổi thu nhạc folk... Tôi buộc phải thích nghi với mọi vai trò khác nhau."[16]

Cho dù Page tham gia thu âm với rất nhiều nghệ sĩ, hầu hết những bản thu trên đều nằm trong những ấn bản nháp, và phần lớn số đó được hội những người hâm mộ Led Zeppelin phát hành rải rác vào cuối những năm 1970. Một trong những bản thu hiếm nhất là bản hát lại ca khúc "Little Queen of Spades" của Robert Johnson mà Page trình diễn cùng tay guitar của The Stones, Keith Richards. Nhiều bản thu thời kỳ này được tổng hợp và phát hành trong album sau đó, Jimmy Page: Session Man. Page cũng tham gia chơi guitar và hát cùng Richards tại phòng thu Olympic Sound Studios ngày 15 tháng 10 năm 1974: ca khúc này có tên "Scarlet" được thu với Ric Grech chơi bass và Bruce Rowland chơi trống cuối cùng bị xóa bỏ. Không lâu sau Page giải thích trong bài phỏng vấn với Cameron Crowe trên tờ Rolling Stone: "Tôi đã làm mọi thứ có thể để hoàn thiện ca khúc mặt B của The Stones. Tôi cùng Ric Grech và Keith đã thu âm một ca khúc có tên "Scarlet". Tôi không nhớ tên tay trống. Nó mang giai điệu và âm hưởng tương đồng với Blonde on Blonde. Nó thực sự rất hay, rất tốt. Chúng tôi làm việc thâu đêm rồi tới phòng thu Island Studios để Keith chèn thêm một đoạn guitar theo phong cách reggea. Tôi cũng chơi thêm một đoạn solo, và lúc đó đã khoảng 8 giờ sáng của ngày mới. Cậu ta sau đó mang mấy cuốn băng sang Thụy Sĩ, và có ai đó đã cảm thấy thích thú về chúng. Keith đã nói rằng đó là một sáng tác trong album của tôi."

Page chia tay công việc tại phòng thu sau khi những ảnh hưởng ngày một lớn của hãng Stax Records tới âm nhạc quần chúng khiến họ sử dụng nhiều hơn tới bộ hơi và dàn nhạc thính phòng thay vì phải chi tiền cho những chiếc guitar đắt tiền[17]. Anh nhớ lại thời kỳ làm nhạc công tự do thực sự là quãng thời gian tuyệt vời để anh trau dồi kỹ năng:

"Quãng thời gian làm nhạc công tự do của tôi là vô giá. Đã có lúc tôi đã thu tới 3 buổi 1 ngày, và 6 ngày 1 tuần! Và tôi cũng không bao giờ định hình trước những gì mà tôi sắp chơi. Nhưng tôi đã học được rất nhiều điều, kể cả trong những lần thu tệ hại nhất – hãy tin lời tôi nói, tôi đã từng chơi những bản nhạc kinh tởm. Tôi đã quyết định từ bỏ những lần thu đó sau khi tôi biết chúng được dùng để Muzak[gc 2]. Tôi thấy mình không thể sống một cuộc đời như vậy vì nó thực sự ngớ ngẩn. Tôi nghĩ số mệnh đã tới khi Paul Samwell-Smith rời The Yardbirds và tôi có thể được chơi nhạc cùng họ. Nhưng cuộc sống của một nhạc công tự do cũng có nhiều điều lý thú – thái độ trong phòng thu thực sự rất tuyệt. Họ chú ý chi li tới từng ca khúc và bạn không thể mắc bất kỳ lỗi nào."[19]